Appearance
Decoupling visualization and testing when presenting confidence intervals
Summary
Problem: 社会科学研究中置信区间被广泛用于展示模型、数据和效应，但读者自然倾向于通过区间是否重叠来判断估计值之间差异的显著性。然而，不存在通用规则允许仅凭置信区间回答这一问题——95%置信区间重叠时差异可能显著也可能不显著，不重叠时差异一定显著，但部分重叠时无法判断。以往研究虽发展了推断性置信区间工具，但仅适用于单一成对比较，且在多组同时比较时失效。 Approach: 作者提出将检验与可视化完全解耦的新程序：先对所有估计值进行适当的成对检验（可包含多重性校正、稳健标准误等），再通过优化算法寻找一个推断性置信水平（1−γ），使得该水平下的区间重叠状态与成对检验结果最大程度一致。若存在多个可接受水平，建议取最小与最大可接受值的中点。 Finding: 在Iyengar and Westwood (2015)的案例中，使用原始95%置信区间进行30组成对检验会出错7组；而新方法找到的推断性置信水平范围[0.817, 0.863]能完美对应全部30组检验结果。该范围包含且以常用的84%置信区间为中心。 Significance: 该方法首次解决了多组同时比较时推断性置信区间失效的问题，使读者能够对研究者未预期的比较进行有效的统计推断，且不依赖特定推断范式（频率学派或贝叶斯均可适用），并提供了R和Stata软件实现。
Theoretical Framework
- Theoretical tradition: 统计推断与可视化呈现的交叉领域，属于政治学方法论中的定量方法传统。
- Prior theories built upon: 推断性置信区间概念（Tyron 2001）；84%置信区间用于5%水平检验的早期发现（Browne 1979; Tukey 1991）；Afshartous and Preston (2010)和Radean (2023)对推断性置信水平的推广计算；Goldstein and Healy (1995)、Payton, Greenstone, and Schenker (2003)等对样本量、不确定性、协方差和分布函数形式的扩展。
- Causal mechanism: 通过优化算法选择推断性置信水平，使区间重叠指示器（s*ij）与成对检验显著性指示器（sij）的匹配度最大化，从而在可视化层面准确传达统计检验结果。
- Key assumptions: 估计值近似服从正态分布（或t分布）；成对检验是判断差异显著性的适当基准；读者确实会进行视觉检验这一行为是既成事实。
- Theoretical move: 本文挑战并超越了以往将检验与可视化耦合的思路——以往研究试图找到使区间重叠概率等于α的置信水平，本文则放弃这一目标，转而直接优化区间重叠与检验结果的一致性，从而扩展了推断性置信区间的适用范围至任意数量的成对比较。
- Scope conditions: 适用于任何可以计算成对差异检验的估计量；不限于频率学派，也可用于贝叶斯分析（见附录5）；不适用于无法进行成对检验的情形。
Research Design
本文为方法论理论文章，采用数学推导与案例演示相结合的方式。核心设计为提出三步程序：(1)对所有估计值进行成对检验，定义sij为p值小于α时为1否则为0；(2)通过优化目标函数（公式2.1）寻找使sij与s*ij（区间重叠指示器）匹配度最大化的推断性置信水平；(3)若存在多个水平，选择最小与最大可接受值的中点。案例研究使用Iyengar and Westwood (2015)实验2的数据，分析单位是受访者个体，因变量为是否选择共和党候选人（二元变量），自变量为党派认同（5类）与实验条件（3类）的交互项。
Data & Sample
案例研究使用Iyengar and Westwood (2015)的公开数据。该实验为美国受访者的调查实验，样本量未在本文中明确报告（N/A）。实验设计为：受访者被要求选择一名高中生获得奖学金，两名学生的GPA（3.5或4.0）和党派身份（青年共和党或青年民主党主席）被随机操纵，形成三种条件（民主党更合格、同等合格、共和党更合格）。数据来源为Iyengar and Westwood (2015)的原始研究，时间跨度为该研究的数据收集时期（N/A）。
Analytical Strategy
本文的分析策略包括：(1)使用逻辑回归模型估计预测概率（复现Iyengar and Westwood 2015的模型设定）；(2)对所有成对估计进行t检验（使用公式t = (x̄2−x̄1)/√(var(x̄2)+var(x̄1)−2cov(x̄2,x̄1))）；(3)通过优化算法（公式2.1）寻找推断性置信水平；(4)比较95%置信区间与新方法所得推断性置信区间的检验准确性。稳健性方面，作者在附录中展示了贝叶斯分析的应用（附录5）、参考类别问题的讨论（附录2）、84%区间失效的演示（附录3）以及多重水平选择方案的讨论（附录4）。
Results & Findings
- 主要发现一：使用95%置信区间进行视觉检验在案例中出错率较高——30组成对检验中有7组判断错误。这表明传统的"区间重叠即不显著"的直觉在部分重叠情况下不可靠，与理论预期一致。
- 主要发现二：新方法找到的推断性置信水平范围[0.817, 0.863]能完美对应全部30组成对检验结果。该范围包含且以84%置信区间为中心，但84%区间在不同比较中的I型错误率介于4.7%至7.9%之间，说明84%区间并非总是适用。
- 主要发现三：具体案例中，当共和党候选人更合格时，共和党人与独立人士的估计值在推断性置信区间下显示显著差异，而95%区间重叠会误导读者认为差异不显著。这直接验证了新方法在揭示真实差异方面的优势。
- 零结果/意外发现：作者指出，在"同等合格"条件下，推断性置信水平范围较宽（[0.590, 0.863]），说明不同条件下的最优水平存在差异，但跨三个面板存在共同的交集范围[0.817, 0.863]，使得单一水平可用于全部展示。
Limitations
作者承认以下局限：(1)当无法找到单一推断性置信水平完美对应所有成对检验时，程序会直接标识出未被恰当表征的检验，需要分析者额外标记（见附录6示例）；(2)本文不涉及多重性校正的具体方法选择，仅说明程序与任何成对检验方法兼容；(3)文章明确声明不是对零假设显著性检验（NHST）的辩护，仅承认这一实践在领域中的主导地位；(4)案例研究仅展示了一个频率学派示例和一个贝叶斯示例（附录6），更多应用场景有待探索。
Key Contributions
- 提出将检验与可视化解耦的全新程序，首次解决了多组同时比较时推断性置信区间失效的问题
- 开发了优化算法（公式2.1），可自动寻找使区间重叠与成对检验结果最大程度一致的推断性置信水平
- 提供R和Stata软件实现，使研究者能方便地在大多数模型后应用该方法
- 通过案例研究证明新方法在30组成对检验中实现零错误，优于传统95%区间（7组错误）
- 方法不依赖特定推断范式，可适用于频率学派和贝叶斯分析
- 直接标识出无法被恰当表征的检验，为分析者提供明确的诊断信息
Key Claims
"When several intervals are plotted together, one natural inclination is to ask whether the estimates represented by those intervals are significantly different from each other. Unfortunately, there is no general rule or procedure that would allow us to answer this question from the confidence intervals alone." (Section 1, The Problem)
"Our innovation is to decouple the testing from the visualization. For most quantities of interest in social science, it is easy to compute pairwise tests of difference." (Section 2, Inferential Confidence Intervals)
"Importantly, the main beneficiary of this kind of display is not the researcher. We imagine that researchers will have a good sense, through investigation of their models, which of their intended inferences are significant and which are not. Instead, this tool empowers readers to use published results to make valid inferences about comparisons that may not have been anticipated by or important to the researcher." (Section 2, Inferential Confidence Intervals)
"Rather than grafting an inferential framework onto the overlaps of confidence intervals, our approach is to focus on the full set of tests to identify the inferential confidence level that maximally corresponds with properly done pairwise tests." (Section 4, Conclusion)
"Our approach is sufficiently flexible that 'properly done' could take on any number of meanings across inferential paradigms, multiplicity corrections and operationalizations of the variance–covariance matrix of the estimates." (Section 4, Conclusion)